หลังสร้างประวัติศาสตร์ให้วงการอวกาศได้เพียง 7 ปี กาการินก็จบชีวิตลง หลังประสบอุบัติเหตุจากซ้อมขับเครื่องบินรบเมื่อวันที่ 27 มีนาคม 1968 โดยเครื่องเครื่องบินรบตระกูล “มิก” (Mig fighter) ที่เขาซ้อมรบร่วมกับครูฝึกคือ วลาดิมีร์ เซริออกิน (Vladimir Seryogin) ได้ตก ในแคว้นวลาดิมีร์ซึ่งอยู่นอกกรุงมอสโก

อุบัติเหตุครั้งนี้ รับการอธิบายอย่างชัดเจน บ้างว่าอุบัติเหตุดังกล่าวเกิดจากการเปลี่ยนระดับเพดานบินอย่างรวดเร็วเพื่อ หลบหลีกสิ่งกีดขวาง บ้างว่าถูกโจมตีโดยอากาศยานอื่น บ้างก็ว่าขาดออกซิเจนในห้องโดยสาร

นอกจากนี้ยังมีข้อสันนิษฐานว่า อุบัติเหตุดังกล่าวอาจเกิดมีสาเหตุจากนักบินร่วมของเขา หรืออาจเป็นคำสั่งของ เลโอนิด เบรจเนฟ ผู้นำโซเวียตคนใหม่ ที่อิจฉาความโด่งดังของเขา

การเสียชีวิตของกาการิน ได้รับการบันทึกจากคณะกรรมการพรรคคอมมิวนิสต์ของสหภาพโซเวียต และสภารัฐมนตรีในวันที่ 28 พฤศจิกายน 1968 ว่าเป็นเรื่อง “ลับเฉพาะ” ซึ่งเอกสารของคณะกรรมการระบุว่า การซ้อมรบของกาการินและนักบินร่วมนั้น ได้นำเครื่องบินไปเผชิญกับภาวะวิกฤต และการหยุดทำงานกลางคันของเครื่องยนต์ ท่ามกลางสภาพอากาศอันย่ำแย่

มีข้อสันนิษฐานมากมายเกี่ยวกับสาเหตุการตายของกาการิน แต่ทั้งหมดล้วนไม่มีหลักฐานรองรับ แต่ล่าสุดสำนักข่าวเอเอฟพีรายงานว่า ทางการของรัสเซียได้เปิดเผยเอกสารที่ไม่เป็นความลับอีกต่อไป ซึ่งระบุว่า ความตายอันเป็นปริศนาของเขานั้นเกิดการซ้อมรบเพื่อหลบบอลลูนตรวจสภาพอากาศ อย่างฉับพลัน

แม้สหภาพโซเวียตจะล่มสลายไปแล้ว แต่กาการินก็ยังกลายเป็นวีรบุรุษในยุคคอมมิวนิสต์ไม่กี่คน ที่ยังได้รับศรัทธาอย่างไม่เสื่อมคลาย สเปซเดลีรายงานว่า เมื่อปี 2010 ที่ผ่านมากาการินติดอันดับสูงของในการสำรวจบุคคลสำคัญ อันเป็นสัญลักษณ์ประจำชาติแห่งศตวรรษที่ 20 โดยได้รับความนิยมสูงสุดในกลุ่มตัวอย่างอายุระหว่าง 18-24